デジタル情報の処理と認識

目次

• 第１回授業[文字の表現]：視聴メモ：講義資料
• 第２回授業[自然言語処理]：視聴メモ：講義資料
• 第３回授業[資源言語処理の応用]：視聴メモ：講義資料
• 第４回授業[音の表現]：視聴メモ：講義資料
• 第５回授業[音声周波数の分析]：視聴メモ：講義資料
• 第６回授業[音声の認識と合成]：視聴メモ：講義資料
• 第７回授業[色と画像の表現]：視聴メモ：講義資料
• 第８回授業[デジタル画像の処理]：視聴メモ：講義資料
• 第９回授業[空間フィルタリングとモーフォロジー]：視聴メモ：講義資料
• 第１０回授業[画像認識１～文字の認識～]：視聴メモ：講義資料
• 第１１回授業[画像認識２～顔の認識～]：視聴メモ：講義資料
• 第１２回授業[画像検索]：視聴メモ：講義資料
• 第１３回授業[画像処理ハードウェア]：視聴メモ：講義資料
• 第１４回授業[映像データの処理]：視聴メモ：講義資料
• 第１５回授業[３次元データの処理]：視聴メモ：講義資料

第１回授業

文字コード

• アスキーコード：英数字を表現するための文字コード。１バイトコード。

0~31	開業やタブといった特殊文字
32	スペース
33~126	英数字
127	デリート

• １バイトコード：１バイトで文字を表現
• ７ビットコード：７ビットのみ利用した表現
• アスキーコードで使用しない最上位ビットを利用することでカタカナを表現（160～223）
• 通常の日本語の半分の幅で表示
• 正しく扱えない場合もある
• 漢字コード（JISコード、シフトJISコード、EUC-JP）：

半角カタカナ

• JISコード
• ７ビットコード
• エスケープシーケンスを利用
  （「ESC ( B」「ESC ( J」→英数字）
  （「ESC $ @」「ESC $ B」→日本語）
• 「48 33」という２バイトデータ→英数字なら「0!」　日本語なら「亜」
• シフトJISコード
• 最上位ビットも使うことでエスケープシーケンスを使用しないように修正
• JISコードの数値を部分的にシフト
• ８ビットコード
• 日本語を表現する場合は第一バイトの最上位ビットが１
• EUC
• 主にUNIXOSで利用
• 日本語を表すEUC-JPは８ビットコード
• Unicode
• 日本語、英語、中国語、韓国語といった多数の言語を１つの文字コードで表現
• UTF-8（可変長バイト、日本語の多くは３バイトで表現）
• Java言語やWebページなどで利用

文字の表示

• 文字コードはそれぞれの文字をコンピュータで扱える数値として表現する
• コンピュータ上で実際に文字を表示するためにはそれぞれの文字に対応する文字の形状やデザインのデータが必要
• このような文字の表示に用いられるデータがフォント

フォント

• ビットマップフォント：
• アンチエイリアス処理：
• アウトラインフォント：文字の輪郭を代表するテントそれらを結んだ繊維より文字の形状を表現する
• 欧文フォント：セリフ系、サンセリフ系、筆記体風などがある
• 和文フォント：明朝体(ウロコ有)、ゴシック体、楷書体などがある

フォントの文字幅

• 和文フォント：等幅フォント（文字幅が一定）
• 欧文フォント：プロポーショナルフォント（文字によって文字幅が変わる）
• カーニング：文字幅の微調整（文字の組み合わせによって幅が微調整される）

文字データの記述

文書の編集

• テキストエディタ：テキストデータの編集に用いられる
• ワープロソフト：文字の大きさ、色、レイアウトなどの編集も可能
• ＤＴＰ（Desktop Publishing)：コンピュータを使った出版物の編集

文書の保存

• WYSIWYG(What You See Is What You Get)：表示イメージと印刷イメージが同じ
• 保存形式
• PostScript：文字や図形をベクタデータとして扱う
• PDF：デザインを変えずに文書を表示する際に利用

TeX(LaTeX)

• 特徴：多くのプラットホームで動作、数式に強い
• 編集方法：文書にコマンドを追加しソースファイルを作成、コンパイルして印刷用のファイルに変換

LaTeXはTexの上に構築されたフリーの文書処理システム。より高機能

World Wide Web

• インターネット上で文書等の情報を共有するための仕組み
• 1989年にCERNで開発
• 閲覧するにはWebブラウザが必要
• 画像や映像の表示も可能

HTML

• Webページの記述にはHTMLと呼ばれる言語が利用される
• <>で囲まれたタグによって構造やレイアウトなどが指定される
• 拡張子は「.html」
• タグによってその属性を表現
• 文字だけで記述
• マークアップ言語
• HTMLでは厳密にXMLに準拠していない部分もある

Webページの公開

• 公開にはWebサーバが必要
• ＵＲＬ(Uniform Resource Locator)Webページを表す文字列

XML

• マークアップ言語を作成するための言語
• <tag>というタグは</tag>で終了する
• タグは入れ子になって良い
• <tag1><tag2></tag1></tag2>のようにタグが交差してはいけない
• <tag></tag>は、１つにまとめて>tag/<と書くことができる

XHTML

• HTMLを厳密にXMLに準拠させたもの、<br>タグは<br></br>または<br/>

XMLに準拠した言語

• BML：デジタル放送の番組関連情報などの配信
• SVG：２次元ベクトル画像を記述
• SMIL：映像や音声のレイアウトや再生時間を記述
• X3D：３次元データを記述

第２回授業

言語

• 人工言語：プログラミング言語、Fortren Basic C Java etc文法が明確
• 自然言語：自然発生的に用いられるようになった言語、日本語や英語

• 形態素解析
• 形態素：triange = tri + angle
• 形態素解析：～単語レベルの処理
• 辞書を利用
• 文章と一致するように単語を探し出す→複数の候補が考えられる
• 経験則→最長一致法、分割数最小法
• 最長一致法：頭からできるだけ長く辞書中の言葉と一致させる。一致した場合残った部分で一致する部分を探す。これを繰り返す。
• 分割数最小法：分割できる単語に分割しその分割数の最小のものを選択する。
• ２つの単語が接続するか否かによる制限。（形容詞の後：名詞〇、助詞×。文頭：名詞〇、助詞×など）
• 最長一致法や分割数最小法と併用可能
• コスト最小法：コストを設定し最小っとなる分割を探す。（つながりやすい品詞には低いコスト、出現しやすい単語には低いコスト）コストの設定は人手で行う方法と、多量の文書データを用いて統計的に設定する。
• 形態素解析ソフト
• ChaSen:奈良先端科学技術大学院大学で開発
• JUMAN:京都大学で開発最も古い形態素解析ソフトの１つ
• MeCab:辞書に載っていない単語の処理を定義できる
• KAKASI:全文検索システムNamazuなどで利用
• ※日本語の形態素解析：単語の分割（分かち書き）がメイン
• 構文解析
• 形態素解析を行うことで単語分割された単語を基にどのように文が構成されているか、文の構造を解析するもの
• 文法規則を形態素解析結果に適用
• トップダウン法：分から文法規則を繰り返し適用、つまり文全体から部分ごとに分割していく（後置詞句＋動詞句　⇒名詞＋助詞のように順に繰り返す）
• ボトムアップ法：単語列から文法規則を連続的に適用（名詞＋助詞　から　後置詞句のように組み合わせる）
• ※構文木
• 日本語の構文解析の特徴
• 日本語は語順の自由度が高い
• 助詞によって意味が決まる場合も多い
• それぞれの文節の係り受け関係を明らかにすることを目的として構文解析が行われる場合も多い
• 文節の係り受け関係を決めるための方法としては経験則を用いる方法や統計的な性質を利用する方法などがある
• 前の文節から後ろの文節に係る
• より近い受け要素にかかる
• 係り受け関係は交差しない（「うどんを　神奈川に　食べに　行く」の場合には「うどんを」は「食べに」にかかり「神奈川に」は「行く」にかかるがこのように交叉していると意味が通らない）
• コーパス：多量の例文を収集したもの（単純に例文を集めたもの、係り受け関係などの情報を付与したもの）
  利用方法：統計的な性質を利用する、類似する用例を探す
• 構文解析ソフト
• KNP:JUMANの形態素解析結果から、構文解析を行う
• CaboCha:サポートベクトルマシンと呼ばれる分類。アルゴリズムを用いて係り受け関係を解析
• 意味解析
• 格：文中でのそれぞれの単語の持つ役割
• 深層格：動作主格、対象格、時間格、場所格
• 表層格：表層的な手がかりから決まる格。
  助詞によって表層格がきまる
• 格フレーム：動詞がどのような格を持つか、表層格と深層格の対応などを記述
  （格フレーム辞書：IPALの動詞辞書、京都大学格フレーム）
• 文脈解析：前後の文脈を用いることで行われる処理
• 文と文の関係を明らかにする
• それが何かを推定する
• 省略された主語などを推定する

第３回授業

機械翻訳

• テンプレート方式：定型的な文章に対して翻訳パターンをあらかじめテンプレート化しておき変化する部分のみを入れ替えて翻訳を行う。比較的制度の高い翻訳が実現できるが、範囲が限定される。
• トランスファー方式：解析、変換、生成の３つのパターンで翻訳。

手順

• 解析処理：日本語ではまず形態素解析が必要
• 構文解析：構文構造を明らかにする。動詞句と後置詞句から構成されると言う文法から解析する。その分の意味の理解が行われる。実際には解析処理が難しく構文構造の解析迄行い変換処理が行われることがある。
• 変換処理/生成処理：例えば日本語と英語の間にある文法の対応に合わせて変換する。
• 中間言語方式：一度原言語を中間言語に変換し、目的言語へ変換する。（中間言語：コンピュータ内で様々な言語を表現できるように設計された翻訳用の言語）
• 格構造：中間言語で動作主格や、対象格などを表現している。意味解析で明らかになる構造。
• 用例べ―ス方式：

変換プログラム数：トランスファー方式では　使用言語数×(使用言語数-1)、中間言語方式では　使用言語数　×　２

翻訳の方式

ルールベース方式：翻訳のための変換ルールをあらかじめ用意しておきそれに基づいて翻訳を行う。（トランスファー方式、中間言語方式）

用例ベース方式：原言語と目的言語の対訳用例を大量に蓄積し、そこから引用する。機会が理解しやすいようにもとの分を置き換えてから翻訳をおこなう。翻訳精度を上げるために利用されたりする。（テンプレート方式）

全文検索

多量に蓄積された文章から目的の検索キーワードが含まれる文章やその位置を検索すること。

方法

• 総当たりによる方法：検索キーワードと一致する文字列を文書の最初から最後まで順次照合しながら探し出す方法。あらかじめ前処理を行う必要が無く、任意の文書を対象に検索を行うことができる。文書量に比例して検索時間が増える。
• 検索情報（インデックス）を作成：

転置インデックス：単語に文書IDをつけたもので、文書IDはその単語を含む文書のID、つまり、単語が使われている用例を検索することができる。

• 検索の高速化：不要語をインデックスから除外

ベクトル空間法

ベクトル空間法：複数のキーワードを用いて類似度を定義。例えばN個のキーワードについてTF・IDFを並べたものを文書の特徴とする方法。文書のキーワードごとにTF・IDFを表記することで、文書をN次元のベクトルとして表現できる。

• TF_ni:キーワードの重要度を求める指標(Term Frequency：文書nにおける単語iの出現頻度)
• IDF_i:全文書数の内単語iを含む文書数の割合の逆数。通常は更にその対数を取る。特定の文書のみに存在する単語は重要。
• TF・IDF：文書に出現する頻度が高い場合にTFが大きくなり、他の文書にあまり出現しない場合にはIDFが大きくなる。両方大きい場合には重要度が高いと言える。重みづけ。重要なキーワードの抽出や検索の際の順位付けなどに利用される。

テキストマイニング

テキストデータを対象としたデータマイニング:Webページを解析して評判を分析、自由記述アンケートを分析

共起分析：ある単語と同時に出現する単語を分析

対応分析：類似する文書が近くになるように配置することで内容によって文書を分類することができる

データマイニング：多量に蓄積されたデータの中から知識を発見する処理。

第４回授業

音を聞く仕組み

• 可聴音：20Hz-20kHz
• モスキート音：～17kHz

A/D変換

標本化：一定の間隔で値を取り出す処理
電話回線8kHz,音楽CD44.1kHz(人が最も聞こえやすい音)

(持論)人間が聞こえやすい音を規定していることによって、人間個体にその客体が例証されようとする原理があるが、実際の音はそのような例証とは無縁に存在する客体にある。また、客体のみではなく、物的な音も存在する。この原則を上書きしている人間特有の規則によって、人が特異に聞こえる音が遮られている。機械的に概念化された音に関してはデジタル化による情報落ちと同様にそれに属する音である。音がすべてあるとしてそのうちのいくつかを抑制した音とする考えが客体上では可能。しかしそのような音は、ないと思う。もしあるとするならば、それは洪水の後聞こえる洞窟の音で、今まで演奏した音の山彦である。

量子化：とびとびの値へと変換する処理

• 量子化：電話回線 8bit,音楽CD 16bit　⇒nbit 2^n通り
• 記録形式：MP3,WAVE,AIFF等

音の３属性

• 大きさ
• 高さ
• 音色

音楽の三大要素

• リズム(律動)：
• メロディ(旋律)：
• ハーモニー(和音)：

音の大きさ

• フォン：人の感覚に基づく音の大きさ
• デシベル：物理的な音の大きさ

音の高さ

• ヘルツ：周波数
• nオクターブ：周波数の２^n倍

和音

半音の周波数の比をxとすると、鍵盤1つの違いはlog2/12オクターブなので、x=exp(log2/12) = 1.05946...

ドミソの和音：どの音の周波数1とすると、1:x^4:x^71:1.2599:1.4983 = 4:5.0397:5.9932(ほぼ4:5:6の簡単な整数比→美しく響く（平均律⇔）

• 純正律:きれいに整数になるように調整する方法
• 平均律:比によって整数に近似するように取る音

音の音色

• エンベロープ：振幅が描く形（包絡線）

第５回授業

発生の仕組み

• 調音：唇や歯などを使って様々な音を作り出すこと
• 調音器官：調音を行う唇や歯などの器官
• 平均的な声帯の長さ：男性20mm程度、女性15mm程度
• 声帯の振動数（ピッチ）：男性100～200Hz、女性250～500Hz
• 裏声：倍音による発声

母音

• 声帯から出た音を口腔などで共鳴させ発声
• 声帯の振動を伴う有声音⇔無声音
• 唇や歯で空気の流れを閉鎖したり狭めること無く発声される
• ある程度の時間発声し続けることができる
• 他の母音に連続的に変化させることができる

子音

音素の識別

音素の識別は音声信号から主に音色の違いを抽出することで行うことができる

基音と倍音

• 基音：最も振動数の低い音
• 倍音：基音の整数倍の振動の音

波形の違いの分析

• 自己相関関数：波形をそのままの形で分析する方法
• 周波数分析：信号を様々な周波数の三角関数などの和で表し、与えられた信号にどのような周波数の波が含まれているかを分析する

のこぎり波：

フーリエ変換

• 三角関数の和として表現した場合の成分の強度を求める
• フーリエ変換した結果は複素数となりその絶対値は周波数成分の強度を表す
• データ数が2^nならFFTを利用

• ホルマント：あるサンプルで山となる部分を言う。周波数が低い方から第１ホルマント、第２ホルマントという。
• アンチホルマント：あるサンプルで谷となる部分を言う。

これらの特徴によって音素を推定する。

話者同定

「あいうえお」という音声は発生する人が変わっても「あいうえお」と認識されるが、それ以外の部分には個人に特有な特徴が含まれているためそれによって話者を同定できる。（個人を識別可能）

話者同定に利用できる特徴

• 声の大きさ
• 話す速度
• ピッチ（声帯の基本周波数）
• 周波数スペクトル

利用する特徴に望ましい性質

• まわりの環境に影響を受けにくい
• 意図的に変更しにくい
• 他者が真似しにくい
• 時間的に変わりにくい

ピッチと周波数スペクトルが望ましい

フーリエ逆変換

• フーリエ変換の逆変換がフーリエ逆変換
• 音の波形をフーリエ変換するとその結果は複素数
• その結果をフーリエ逆変換すると元の音の波形に戻すことができる

ケプストラム

周波数スペクトルをフーリエ逆変換した物を模式的に表したもの

ケフレンシー：ケプストラムの横軸のこと

ケプストラムの高ケフレンシー部分には一つのピークが立つ、これがピッチに対応するもの。周波数スペクトルの微細構造がピッチと等しくなることで発生する。これによって話者を特定できる。

声紋

周波数スペクトルのうねりの部分、口腔の形状の影響を受けるため特徴が変化しにくいため話者同定に適した情報と言える。

話者同定（セキュリティ管理、犯罪捜査）、音楽分析に利用される

第６回授業

• 単語認識/コマンド認識
• 音声によるコンピュータの制御
• 音声操作の出来るカーナビなど
• ディクテーション
• 音声による文章の入力

単語認識

比較に用いられる特徴

周波数分析によって得られるホルマントやケプストラムなどが用いられる

パターンの照合

部分的な伸縮が起こる可能性がある。（人によって発音が伸縮するから）照合の方法にはDPマッチングや、隠れマルコフモデル(HMM)がある

DPマッチング

• パターンの対応を経路で表現
• 経路が最小となる経路が最適なマッチングとしている。

隠れマルコフモデル(HMM)

• 確率的に最も類似するものを選択する

ディクテーション

自由文を連続的に認識させること

• 制限のない自由文を連続的に認識
• 話している区間はどこか？
• 認識の際の曖昧性が高い（単語の制限がない、単語間の区切りも必ずしも明確ではない）
• 経験則や統計的制約などにより認識結果の曖昧性を減らし認識制度を向上

辞書による制限

• 辞書の中で最も類似している単語を探し認識結果とする
• 類似した発音の単語が多い場合には誤認識が起こりやすい
• 辞書に登録されていない未知語をどう検出するかが問題

文法的な制約

• ２つの単語が接続するか否かによる制限（形容詞の後ろに名詞は続くが助詞は接続しない等の制約を利用）
• 文全体の文法的な制約による語彙の制限→分全体として文法的により自然な認識結果

統計的な制約/話者適応

• N-gram
• (N-1)個の連続する単語の後にどのような単語が続きやすいかによる語彙の制限
• ２つの場合bigram、３つの場合trigram
• 話者適応

音声合成

• 時報案内や駅のアナウンスなどで実用化
• デバイスに話しかけることで音声案内
• 話した内容を翻訳して音声で読み上げ
• 歌声の合成

録音編集方式

• あらかじめ単語や定型文などを録音し簡単な編集を行って音声を合成
• 比較的音質が良いが決まった内納の音声以外は合成できない

規則合成方式

• 基本的な音声単位の合成方法や韻律情報などの規則に基づき音声を合成
• テキストに基づき音声を合成する方式（テキスト音声合成「Text-To^Speech」）
• 合成できる音声の自由度が高いが合成音声が機械的で不自然な場合もある

合成の単位

• CV(Cは子音 Vは母音)
  「あ」と「か」→「あか」
• VCV(母音+子音+母音)
  usaとagi→うさぎ(usagi)
• CVC(子音+母音+子音)
  mikとkan→みかん(mikan)

韻律情報の付加

• 日本語のアクセントは音の高低（英語は強弱）
• モーラ：概ね仮名１文字に相当
• 下がる１つ前がアクセントの位置
• 単語のつながりによっても変化
• 発音のし始めはピッチが高く徐々にピッチが低くなる

歌声合成

• 音の高さの調整が必要
• １オクターブ上げる（周波数を２倍にする）
• 半音上げる（周波数を1.0595倍する）

• 歌声と楽器の音の合成
• 合成した歌声の母音と伴奏の楽器の音が揃うように音を再生
• 演歌のコブシ
• 一旦楽譜より音程を低くし次に楽譜よりも音程を高くしその後ビブラート

第７回授業

色とは

電磁波

• ガンマ線
• X線
• 紫外線
• 可視光:380nm～780nm
• 赤外線
• マイクロ波
• 電波

光を見る仕組み

• 杆体：明るさを感じる。色は区別できないが弱い光をとらえられる
• 錐体：色を感じる。赤い光、緑の光、青い光に反応する３つの錐体

光の三原色

• 補色：混ぜることで白になる色
• 加法混色：混ぜるほど明るくなる

色の三原色

• 減法混色：混ぜるほど暗くなる

色の表現

色空間

• 明度：明るさ(z軸に対応)
• 色相：色彩
• 彩度：鮮やかさ

色の変換

• HSB(HSV)色空間
• 簡易に色相、明度、彩度に変換
• RGBの値の最大値を明度
• 均等色空間
• L*a*b、L*u*vなど
• 色の違いが心理的に同じになる２つの色の間の距離が均等になるように色空間を形成

画像の表現

画素（ピクセル）

データ量

• RGB各１バイト→１色３バイト
• 640×480の画像一枚
  640×480×3≒900kB(約45万文字分)
• 通常は圧縮して扱われる

ランレングス符号化

可逆圧縮

暗号化した物を再度暗号化前の状態に戻ることができる

非可逆圧縮

暗号化したら元の状態に戻すことができない

画像フォーマット

• GIF:256色以下の画像の保存に利用
• PNG:フルカラーに対応した可逆圧縮のフォーマット
• JPEG:通常は非可逆圧縮で圧縮率が良い。

• ラスタデータ
• 画像を画素の集合として表現したデータ
• ペイントソフト、フォトレタッチソフトで利用
• ベクタデータ
• 図形を特徴的な点とそれらを結ぶ線で表現
• ドローソフトなどで利用

第８回授業

画像データの作成

PPM画像

• データ量が大きい
• 単純

GIMP

画像処理

濃淡画像/２値画像

• 濃淡画像にするには？
• R,G,Bの値を平均（RGBの平均値は明るさに相当）
• 0.299 R + 0.587 G + 0.114 B
• ２値画像にするには？
• 明るさがある値以上なら白、ある値以下ならば黒

• ヒストグラム：明るさをヒストグラムで表すことで全体的な明るさの偏りを見ることができる
• トーンカーブ：入力対出力を操作することで画像を加工することができる

• 平行移動
• 拡大
• 回転

第９回授業

空間フィルタリング

必要な情報のみを抽出する

画素の値をその近傍の画素の値により書き換える。

• ４近傍
• ８近傍

平均化フィルタ：自分自身と自分の８近傍の画素値を平均する

座標(x,y)での明るさをl(x,y)新しい明るさをl'(x,y)とすると
l'(x,y)={l(x-1,,y-1) + l(x,y-1) + l(x+1,y-1) + l(x-1,y) + l(x,y) + l(x+1,y) + l(x-1,y+1) + l(x,y+1) + l(x+1,y+1)}/9

平滑化にはガウス分布に基づく重みも利用される

ゴマ塩ノイズ：画像中に白や黒の点が現れるノイズ、の軽減などにも利用できる。

縦方向エッジ

l'(x,y) = -l(x-1,y-1) + l(x+1,y-1) -l(x-1,y) + l(x+1,y) -l(x-1,y) + l(x+1,y) -l(x-1,y+1) +l(x+1,y+)

| -1 0 1 |
| -1 0 1 |
| -1 0 1 |

縦方向に続くエッジがある場合に最大、横方向に続くエッジがある場合に0

横方向エッジ

|-1-1-1 |
| 0 0 0 |
| 1 1 1 |

縦方向と横方向のエッジの絶対値の和や２乗平均が大きい部分を輪郭部分とすることができる

モーフォロジー

膨張と収縮という画像処理

| ｘ ｘ ｘ |
| ｘ 黒 ｘ |
| ｘ ｘ ｘ | であればｘをすべて黒にすることで黒領域の膨張

| ｘ ｘ ｘ |
| ｘ 白 ｘ |
| ｘ ｘ ｘ | であればｘをすべて白にすることで黒領域の収縮

N回膨張、N回収縮すると⇒膨張し白い部分が消えてしまうため「穴埋め」として利用できる

N回収縮、N回膨張すると⇒収縮し黒い部分が消えてしまうため「ノイズ除去」として利用できる

第１０回授業

画像認識

画像認識の応用

• 地図:交差点等のコンピュータが苦手な部分は人が行うなど
• 製品検査:東急検査など
• リモートセンシング：可視光、赤外線などで観測
• 医用画像
• 個人認証(指紋、網膜、虹彩、顔)

文字認識

• 文字の読み込み：スキャナ等で読み込み（標本化、量子化）
• テンプレートマッチング
1. 文字の切り出し：横方向に文字領域（ビット）を数えその量を計算する。次に縦方向に文字領域（ビット）を数えその量を計算する。文字がある領域では縦方向の文字成分が多くなるし、均等な文字列の高さ、間隔ならば横方向も同様となる。これによって文字が書かれている場所が判断できる。
2. 正規化：大きさ、位置、明るさの情報を

• ゾンデ法：主に英数字の検出に利用する縦中心に２点同距離に基準点を置きその点から上下左右に腺が交わるか否かによって識別する。
• 射影特徴量：方向ごとの黒画素数を特徴量として利用する。
• 細線化：文字の輪郭から細い線に変換する。線が縦横で途切れるような変換は行えない。特徴量となる端点、分岐点、交差点を抽出し文字を特定する。
• 方向成分：ある領域で方向成分を抽出し特徴を検出する。

データの分類

• N個の特徴量：
• 認識モデルを用意
• どのグループに属するか

• K近傍法：多数決によりどのグループに属するかの判断を行う。近隣の範囲にいくつ同じ特徴量を持つものがあるかによって多数決的に判定する。
• 線形判別分析：同一の特徴を持つ群が高い確率で分類できる線を基準に判定する
• サポートベクトルマシン：直線や平面で識別できない場合に、カーネル関数で三次元のデータにしてその断面図によって近似を得ることで判定する。

第１１回授業

色特徴を用いた顔検出

• カメラ：顔検出でピントを合わせる
• スマホアプリ：顔検出で耳をつけたり顔を入れ替える
• 個人認証
• 犯罪捜査

顔検出の方法

• 色特徴:RGBヒストグラムによる検出（髪の毛、肌）

Haar-like特徴を用いた顔検出

単純な白と黒(黒領域と白領域の輝度の差)を利用して特徴を検出する

• 検出窓：対象となる部分
• 弱検出器：顔の検出に利用するが、必ずしも精度は高くない検出器、特徴量が閾値以上であれば1、そうでなければ-1を返す。
• AdaBoost
• データにデフォルトの重みをつけておき、最も性能が良い検出器を選択する。
• その検出器の信頼度も併せて計算する。
• 検出できなかったデータの重みを大きくする。
• 残りの検出器のなかから、最も検出性能がよい検出器を選択するという処理を繰り返す。
• 顔を検出する際は、検出器の出力に信頼度を掛けて足し合わせる。（符号が＋で顔、マイナスであれば顔でないと判断）
• カスケード型検出器：顔と認識されると次の検出器へそのままデータを出力、顔でないと認識されると次の検出器へ半分のデータを出力しこれを繰り返すことによって顔を検出する。

顔検出のオープンソース：OpenCV

顔の認識

検出した顔を特定の個人として認識するためのもの

• 平均顔：ある人物の認識された顔画像の画素を平均した画像
• 固有顔：平均顔からのずれを特徴として利用する。ある人物の認識された顔画像から平均顔を引いた画像
• 主成分分析：多次元空間中のデータをより低次元で表現する手法
• 分散共分散行列を求め、固有値と固有ベクトルを求める
• 固有値：固有ベクトルの方向の分散の大きさで、固有値の大きい順に軸を選ぶ
• 固有ベクトル：それぞれの固有値に対応する方向。固有ベクトルを画像のように表現。元のベクトルと固有ベクトルの内積が座標値

第１２回授業

画像検索

画像データベース

• 画像データを多量に蓄積し利用するデータベース
• 画像データ：（直接データベースに格納して管理、保存先のアドレスを用いて管理）
• メタデータ：画像データの効率的な管理や検索などに利用される付加的な情報

• 検索要求が明示的
• 画像の特徴量に基づく検索
• 画像内の物体やその配置に基づく検索
• 画像と他の関連情報を利用した検索
• 検索要求が非明示的

画像の特徴量に基づく検索

• 色に関する特徴量（明るさ、色相ヒストグラム）
• 大きさや形状に関する特徴量（面積、周囲長、縦横比、充填率）（円形度：４π×[面積]/[周囲長]×[周囲長]）
• テクスチャに関する特徴量（フーリエ変換、高次局所自己相関特徴）

画像の特徴量に基づく画像検索

• 色相のヒストグラム
• 色相による検索の例
• 画像内の物体や配置に基づく検索
• 山の画像を対象に画像中の物体の位置関係などによる検索
• 人工衛星で撮影した画像を対象とした主要な目標物の位置関係による検索
• サッカー映像を対象としたボールや選手の位置などによる検索
• 状態遷移モデル(画像内の物体や配置に基づく検索):ある事象に関連する対象を認識することでその事象に関するものと分類しその状態としての具象性を前提させる検索。
• 画像と関連情報を利用した検索
• リレーションデータベースのキーワードと画像特徴（色情報）を用いて画像検索を実現
• 概念による検索を実現
• 検索要求が非明示的な場合
• 検索要求が非明示的：（検索イメージの明確な表現が難しい場合、検索を連想的に行う場合
• 検索結果の関係性の表示方法も重要：（主成分分析による方法、対応分析による方法、自己組織化マップによる方法）

• 主成分分析:多次元空間中のデータをより低次元で表現する手法
• 色相ヒストグラム:RGBを色相・明度・彩度に変換
• ３次元の描画(描画技術)
• VRML(FreeWRL)
• OpenGL
• WebGL

検索性能の評価

• 適合率(precision rate)[%]=C/A
• 再現率(recall rate)[%]=C/B

F値

• 適合率と再現率は、トレードオフの関係
• F値
• 適合率と再現率を同時に評価
• 適合率(precision)と再現率(recall)の調和平均

第１３回授業

デジタルカメラ

• 画像データをデジタル化して取り込むために利用される
• CCDと呼ばれる部品により、光の信号を電気信号へと変換する
• CCDは、光の信号から電気信号への変換を半導体技術を利用して行う

半導体

Siに不純物としてP(リン)又はB(ホウ素)を追加

• 導体：金、銀、銅、鉄、アルミニウム
• 半導体：シリコン、ゲルマニウム
• 絶縁体：ゴム、石英ガラス

発光ダイオード：n型半導体とp型半導体の間で+-電子が結合することで発行する

CCD→フォトダイオード:光が当たることで電気が流れる。画像を得るためには特定の方向の光をレンズに集めることになる。箱に小さな穴を開けることで光の方向を制限できる。赤青緑の光に反応するダイオードを利用することで光の強弱で色を判別する

カメラの種類

• ピンホールカメラ
• レンズカメラ

ディスプレイ

• ブラウン管
• LED
• 青色LEDが開発されたことで、光の３原色のRGBをLEDで実現できるようになった。
• 競馬場の超大型ディスプレイ等で利用
• 青色LEDは、多量のデータの記録にも利用される
• 液晶
• 固体：分子の位置や方向は定まっている
• 液晶：分子の位置は自由であるが方向は定まっている
• 液体：分子の位置や方向は自由

■液晶を特定の方向に固定する方法■

• 配向膜
• ラビング
• 偏光板

3D映像

あらかじめ右目用と左目用の映像を用意している。二つの映像は縦の偏光板と横の偏光板を利用することで3Dで見える

液晶ディスプレイの原理

縦方向の偏光板と横方向の偏光板を重ね２枚の間に電圧をかけることで、液晶分子の向きはそろい光は通り抜けなくなる。

プリンタ

サーマルプリンタ

• 感熱式：熱により発色する特殊な神を利用
• 熱転写式：インクリボンを紙に当て、ヒーターで熱して紙に転写

インクジェットプリンタ

• 圧電素子
• ヒーター

レーザプリンタ

• 感光ドラム
• レーザ光
• トナー
• 転写定着

第１４回授業

映像データの取得

• VHS,Hi8：(磁気テープにアナログ形式で保存。A/D(Analog/Digital)変換が必要)
• DV(Digital Video)形式：(デジタル形式、テープに保存、IEEE1394端子で取り込み)
• MPEG-2,MPEG-4等：ハードディスク、SDカード等に保存

ビットレート

• １秒間の記録に必要なデータ量
• 単位：bps(bit per second)[1.5Mps = 1秒当たり1.5M/3byte][1.5M/8 * 60 * 60byte]

リニア編集

1. テープのコピー先となる部分を頭出しする
2. テープのコピー元となる部分を頭出しする
3. 素材テープの再生を開始し、編集先のテープの録画を開始する
4. 再生が終了したら録画を終了させる

ノンリニア編集

1. 素材映像中のコピー元となる部分を選択する
2. 選択した映像部分を並べなおす
3. フォーマットを指定し書きだす

デジタル化の最大の利点は音楽編集よりも画像や映像の編集にある。

映像フォーマット

コンテナ

• AVI
• MOV
• MPEG-2システム
• 3GPP

圧縮

• 画像中の小さな構造を省略
• 多少の色の変化を許容
• 前後のフレームの類似性

映像フォーマット

コーデック

• MPEG-1 Video
• MPEG-2 Video
• MPEG-4 Visual

ストリーミング

• ダウンロードしながら映像再生を行う方法

シーンチェンジの検出

• 映像の変わり目を検出
• 輝度を用いる方法(輝度の差分、差分の発生面積)

シーンチェンジ検出

• 色情報を用いる方法（RGBの差分、色相のヒストグラムの差）
• 動き情報を用いる方法（動きの大きさ、カメラワーク）
• 関連情報を用いる方法（音声情報、テキスト情報）

色相のヒストグラム

• RGBを色相/明度/彩度に変換(変換方法：HSB,L*a*b,L*uv*)

シーンチェンジの検出結果

• ヒストグラムの差
• 検出されたシーンチェンジ

シーンチェンジ検出の利用

• 映像編集：検出された映像アイコンを編集に利用
• 映像検索
• 映像要約：分割された映像部分を「映像要約後の時間/シーンの数」だけ再生

ドラマ映像の処理

• ドラマ映像のデータベース化：DPマッチングによる対応付け、パターン抽出
• 台詞パターン：音の大小、台詞の文字数
• 女性の存在パターン
• 場面の変わり目パターン：シーンチェンジの検出、シーンの最初の台詞の開始時

DPマッチング

２つのパターンが与えられた場合、それらのパターンを非線形に伸縮し、それらのパターンを非線形に伸縮し、それらのパターン間の最適なマッチングを行う。

第１５回授業

３次元データの取得

３次元データ

• 立体的な形状を表すデータ
• 様々な分野で利用(建築、地図、娯楽、医療、化学など)

Shape from X

３次元データを取得する方法。三次元情報を新たに作成する方法、元からある三次元情報を読み込む方法

• Shape from Shading：物体の陰影を利用して３次元形状を推定する方法
• Shape from Texture：物体表面の模様を利用して３次元形状を推定する方法
• Shape from Focus：焦点距離を利用して３次元形状を推定する方法
• Shape from Silhouette：物体の輪郭を思料して３次元形状を推定する方法
• Shape from Stereo：ステレオ画像を利用して３次元形状を推定する方法

能動的な方法

• スポット光投影法
• スリット光投影法
• 光レーダ法
• レーザ光を物体に当てて、反射してくる光の時間差や位相差により距離を計測
• 大型の構造物を計測する場合などに有効
• 装置が大型で高価

３次元データの表示

3DCG

• コンピュータグラフィックス(CG)のうち３次元(3D)を扱うもの
• 3DCGでは、まず、３次元オブジェクトを定義するモデリングが行われる
• 基本的なモデルとして、ワイヤーフレームモデル、サーフェスモデル、ソリッドモデルがある

３次元モデル

• ワイヤーフレームモデル
• サーフェスモデル
• ソリッドモデル(論理和、論理差、論理積)

レンダリング

• ３次元モデルから、実際に見ることができる２次元画像を作成する処理
• レンダリングには、シェーディング、マッピング、陰面処理といった処理が含まれる
• シェーディング：拡散、鏡面反射
• フラットシェーディング
• スムーズシェーディング(グローシェーディング、フォンシェーディング等)
• シャドウィング:物体に影をつける処理
• テクスチャマッピング
• 陰面処理

複数の物体を扱う場合

• 複数の物体を表現する場合、その前後関係や相互の影響を考慮することも必要
• 例えば、２つの物体が重なっている場合、隠れている部分を表示しないと言った処理が必要

方法

• Zバッファ法
• レイトレーシング
• VRML:３次元空間を記述するための言語。(FreeWRLで表示可能)

Augmented Reality

• 認識したマーカーの一や方向に合わせてCGを重ねて表示することができる
• ARを実現するためのツールとして、ARToolKitがある